Scalable Visual Pretraining for Language Intelligence
可扩展的视觉预训练用于语言智能
🧭 视觉文档预训练提升语言智能
Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China · Zhejiang University · Shanghai Jiao Tong University
直接在视觉文档上预训练可超越纯文本预训练，为语言智能提供高效可扩展路径
📌 工作参考价值（4 点）
- 商品详情页理解：电商场景中大量信息以布局、表格、图片形式存在，传统 OCR→文本 流程丢失空间关系。可借鉴视觉预训练，直接对详情页截图编码，提升对结构化信息（如规格参数、对比图表）的理解，改善搜索与推荐相关性。
- Agent UI 理解：在购物助手、广告投放等 Agent 任务中，直接对操作界面截图进行视觉预训练，能让模型学会从像素推断可点击元素与交互逻辑，减少对 DOM 或渲染文本的依赖，提升自动化决策鲁棒性。
- 落地页质量评估：广告落地页通常包含大量视觉元素，视觉预训练后的模型可从整体布局、美学设计角度评估页面转化潜力，用于素材优选或创意生成前的质量过滤。
- 跨模态语义对齐：视觉预训练获得的表征可与商品标题、用户行为序列联合微调，形成更强的跨模态语义空间，有助于冷启动商品或图文不匹配问题的解决。